，探索-利用困境是规范强化学习算法的动力之一。如何平衡智能体应该探索环境的程度与如何执行特定操作和评估奖励？在强化学习的背景下，探索和开发被视为奖励模型中抑制好奇心的相反力量。然而，就像人类的

认知一样，强化学习智能体的好奇心产生于正确的知识，那么我们如何在不惩罚智能体的情况下激发好奇心呢？这是Google Research最近发表的一篇研究论文的主题，论文介绍了一种在强化学习智能体中激发好奇心的方法。  



大多数强化学习算法都基于结构化奖励模型，该模型假设有一组密集的奖励可以与代理的行为相关联。 然而，现实世界中的许多环境都基于稀疏的奖励机制，这些奖励不易适应强化学习机制。 考虑到强化学习智能体需要在库环境

中查找特定书籍的场景。  智能体可以不断地搜索，但书籍无处可寻，并且对特定行为没有明确的奖励。 稀疏奖励环境对于强化学习智能体来说是非常具有挑战性的，因为他们不得不在没有明确奖励的情况下不断探索环境。 在那些

环境中，强化学习智能体的“好奇心”对获得适当的奖励功能至关重要。 换句话说，强化学习环境中的奖励稀疏性与好奇心之间存在直接关系。

   好奇心对决拖延 

   情境好奇

谷歌在强化学习领域的创新之处在于，通过引入努力的概念解决好奇心-拖延之间的摩擦。从本质上来讲，情境记忆方法是一种仅对需要一定努力而获取的观察数据给与奖励的方法，它建议去避免“自我沉溺的行为”。根据我们电视迷

宫（maze-tv）例子，在转换频道之后，所有的节目将最终在内存中结束。因此，电视节目将不会具有任何吸引力，因为出现在屏幕上的节目顺序是随机的和不可预知的，所有这些节目都已经在存储中了!一个情境存储智能体将检查

过去, 以确定它是否看到了与当前类似的观察结果，在这种情况下, 它不会得到任何奖励。在电视上反复播放几次之后，情景存储代理就不会被即时满足所吸引，而必须去探索电视之外的世界以获得额外的奖励。听起来是不是聪明

啊？

情景记忆方法把好奇心和图的可达性联系起来。智能体在剧集开始时以一个空的存储开始，每一步都将当前的观察结果与存储中的观察结果进行比较，以确定它的新颖性。如果当前的观察确实是新颖的 - 那么从记忆中的观察中采取

的步骤比阈值更多 - 那么智能体就会奖励自己，并将当前的观察添加到情景存储中。这个过程一直持续到剧集结束, 此时存储将会被抹去。

   一个情景好奇心的神经网络架构

为了在强化学习代理中实现情景记忆功能，谷歌依赖于一种架构，该架构将两个神经网络与情景记忆缓冲器和奖赏估计模块相结合，如下图所示: 

让我们来看看情景记忆架构的各个组成部分：

• 嵌入和比较器网络：这两个网络的目的是在给定另一个输入观察的情况下预测特定观察的可达性。具体而言，两个网络是基于一个称为R-Network的架构，这是一个由逻辑回归的损失训练的分类器：如果在k步内两个观测从一个到另外一个的可达的概率比较低，那么它的预测值接近于0，反之，当概率是很高时，其值接近于1。

• 情景记忆缓冲器：情景记忆缓冲器存储当前情景中过去的观察结果的嵌入，以便根据特定的观察结果进行评估。

• 奖励估计模块：该模块的目的是检查内存中是否有可达到的观察结果，如果没有，则进行检查。从本质上说，通过从当前状态只采取一些行动，这个模块的检查确保在内存中没有观察可以达到，因此鼓励好奇心。

   在行动中的情景记忆